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Anmelder: QuISS GmbH 

Anwaltsakte: QU01H10/P-DE 

Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struktur 

mit mehreren Kameras sowie eine Vorrichtung hierfur 

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen einer auf einem Sub- 
strat aufzubringenden Struktur mit zumindest einer bzw. melireren Kameras gemali 
dem Oberbegriff von Ansprucli 1 sowie eine entsprechende Vorrichtung hierfQr. 

Herkommlicherweise werden bislang zum Erkennen einer auf einem Substrat aufzu- 
bringenden Struktur optische Vermessungen durchgefuhrt, wobei haufig verschiede- 
ne Systeme zur voilautomatischen Prufung der Struktur, u.a. Klebstoff und Dichtmit- 
telraupen, verwendet werden. Hierzu werden mehrere Videokameras auf die zu er- 
kennende Struktur gerichtet, wobei zusatzlich ein Beleuchtungsmodul erforderlich ist, 
das zur Erzeugung eines kontrastreichen Kamerabildes dient. 

Um eine Kieberraupe bzw. Kleberspur beim Auftragen uberwachen zu konnen, ist es 
erforderlich, dass eine Referenzkleberspur eingelernt wird, d.h. von der Kamera bzw. 
den Kameras abgefahren wird, um daraus entsprechende Parameter zu berechnen, 
nach denen die aufgebrachten Kleberspuren daraufhin bewertet werden. 

Bisher war es erforderlich, dass beim Einlernen einer Referenzkleberspur jede Ka- 
mera einzein diese Referenzkleberspur abfahren musste, um fur alle Positionen Ka- 

• merabilder zu erhalten. Das heilit, dass bei der Verwendung von drei Kameras die 
Referenzkleberspur dreimal hintereinander abgefahren werden musste und die drei 
unterschiedlichen Bildsequenzen der drei Kameras zugeordnet werden mussten. 
Daraus ergibt sich der Nachteil, dass die Parametrierung der Referenzkleberspur 
umstandlich und zeitintensiv ist sowie zu einer hohen Ungenauigkeitfuhren kann. 

Daruber hinaus besteht Bedarf nach einem Verfahren zum Erkennen einer auf einem 
Substrat aufzubringenden Struktur fQr zumindest eine bzw. mehrere Kameras, wel- 
ches eine Auftragsstruktur bzw. Kleberspur mit hoher Genauigkeit und Geschwindig- 
keit wahrend des Auftragens ubenwacht. 
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Somit ist es Aufgabe der vorliegenden Erfindung. ein Verfahren zum Erkennen eIner 
auf einem Substrat aufzubringenden Struktur fur zumindest eine bzw. mehrere Ka- 
meras bereitzusteiien, welches eine schnelle Inbetriebnahme mit hoher Genauigkeit 
bzw. ein sclinelles Einlernen der Referenzkieberspur ermSglicht. 

Des weiteren ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erken- 
nen einer auf einem Substrat aufzubringenden Struktur fur zumindest eine bzw. meh- 
rere Kameras bereitzusteiien, welches eine Auftragsstruktur bzw. Kleberspur mit ho- 
her Genauigkeit und Geschwindigkeit wahrend des Auftragens Qberwacht. 

Ferner ist es Aufgabe der vorliegenden Erfindung, eine geeignete Vorrichtung zur 
Durchfiihrung des erfindungsgemaHen Verfahrens bereitzusteiien. 

Diese Aufgaben werden verfahrenstechnisch mit den Merkmalen von Anspruch 1 
und 4 sowie vorrichtungstechnisch mit den Merkmalen von Anspruch 23 gelost. 

Bel der erfindungsgemalien Vorrichtung und dem erfindungsgemaBen Verfahren 
wird einerseits eine Referenzauftragsstruktur eingelernt und weitere aufgebrachte 
Auftragsstrukturen bzw. Kleberspuren zu dessen Bewertung mit der Referenzauf- 
tragsstruktur verglichen. Dabei ist es unerheblich. ob die erfindungsgemaUe Auf- 
tragsvorrichtung. d . h. d ie A uftrags vorrichtung m it K ameras, o der a Is k inematische 
Umkehr das Substrat bewegt wird. 

Das erfindungsgemaSe Verfahren ermoglicht es. dass durch das Einlernen einer Re- 
ferenzauftragsstruktur durch lediglich ein einmaliges Abfahren dieser Referenzauf- 
tragsstruktur die Bilder aller Kameras in einer Bildsequenz aufgenommen bzw. ge- 
speichert werden konnen. Dadurch wird die Inbetriebnahme einer derartigen Vorrich- 
tung auf eine kurze Einlemzeit verringert. 

GemafS einem erfindungsgemafSen Verfahren zum Erkennen einer auf einem Sub- 
strat aufzubringenden Struktur. vorzugsweise einer Kleberraupe oder Kleberspur. mit 
mindestens einer Kamera. insbesondere mehreren Kameras, wobei die aufgebrachte 
Struktur beim Abfahren fUr die Bewertung dieser Struktur derart als optisches Abbild 
verarbeitet wird. dass von jeder Kamera lediglic^i ein Streifen des Bildes unter Bil- 
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dung einer Bildsequenz aufgenommen wird und die Bildaufnahmefrequenz entspre- 
chend der Datenverminderung durch die Aufnahme von lediglich einen Streifen des 
Bildes erholit wird, eririalt man ein vorteilhaftes Erkennungsverfahren und Oberpru- 
fungsverfahren fur eine aufzubringende Struktur, welciies eine hohe Genauigkeit 
aufweist und vollautomatisierbar ist. Dadurch kann eine Kleberspur parallel zum Auf- 
bringen der Kleberspur uberwacht werden. 

Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Unteranspruchen. So ist 
von Vorteil, wenn von jeder Kamera lediglich ein Streifen des Bildes unter Bildung 
eines Teils der Bildsequenz aufgenommen wird, um die zu verrechnenden Daten zu 
minimieren. Durch die geringeren zu verrechneten Daten konnen durch die hohe 
Bildaufnahmefrequenz vergleichsweise kurze Teilabschnitte der gesamten Kleber- 
spur aufgenommen werden, welche beispielsweise zwischen 1mm und 3mm liegen, 
so dass die Kleberspur nach Art einer Vektorkette aus den einzelnen Bildern automa- 
tisch verfolgt werden kann. 

Daruber hinaus ist es von Vorteil, dass die Bildaufnahmefrequenz entsprechend der 
Datenverminderung durch die Aufnahme von lediglich einem Streifen des Bildes er- 
hoht wird, was insbesondere durch den Einsatz der Partial-Scantechnik ermoglicht 
wird, so dass eine hohere Bildwiederholrate erreicht wird. Folglich ist es moglich, 
dass synchron und parallel von alien Kameras gleichzeitig Bilder erfasst werden kon- 
nen. Die Bildaufnahmen f olgen somit in definierten f esten Zeitabstanden und sind 
unabhangig von der Robotersteuerung. 

ErfindungsgemaB werden die Bildstreifen der einzelnen Kameras zu einem einzigen 
Bild zusammengefugt, wodurch sich der Vorteil ergibt, dass die jeweiligen Bilder der 
einzelnen Kameras jeweils ortsabhangig entsprechend zugeordnet sind und syn- 
chron aufgenommen und verarbeitet werden konnen. Somit wird des Weiteren ein 
fehlerhaftes Einlernen vermieden, da die Bilder der einzelnen Kameras stets zeit- 
und ortrichtig zugeordnet werden. 

Gema(i einer bevorzugten Ausfuhrungsform werden pro Kamera in etwa nur 1/4 der 
Bildzeilen als Bildstreifen verwendet und dadurch die Bildaufnahmefrequenz vervier- 
facht. 
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Des weiteren ist es vorteilhaft, wenn die Parametrierung der von der Referenzauf- 
tragsstruktur erhaltenen Bildsequenz, welche aus einem einzigen Bildaufnahmelauf 
aller Kameras resultiert, automatisch durch ein einmaliges externes Anzeigen bzw. 
externes Markieren (bspw. per Mausklick) der Referenzauftragsstruktur vorgenom- 
men wird und zum Vergleich mit einer aufgebrachten Kleberspur verwendet wird. Fur 
die Parametrierung wird insbesondere d er Roboterverfahrweg, die Roboterverfahr- 
zeit, die Richtung, die Breite und die Gute der Kleberspur verwendet Durch dieses 
einfache Parametrierungsverfahren vermindert sich die Gefahr von Fehlbedienung 
Oder Fehlparametrierung, wobei das System auch durch gering qualifiziertes Perso- 
nal b edienbar i st. Somit e rzeugt d iese P arametrlerung e ine V ektorisierung d er g e- 
samten Kleberspur, wobei diese auf Grund der hohen Bildaufnahmefrequenz eine 
sichere und automatische Uberpriifung der Kleberspur ermogiicht. Dadurch ergibt 
sich ferner, dass nach einem Tausch des Sensorkopfs lediglich eine Rekalibrlerung 
bzw. eine Neukalibrierung erfolgen muss, ohne dass die Spur erneut eingelernt wer- 
den muss. 

Gemafi einer bevorzugten Ausfiihrungsform der Erfindung wird eine Bewertungs- 
funktion, insbesondere Fuzzy-Bewertung zum Auswerten der Klebstoffspur bzw. Kle- 
berspur verwendet, wobei insbesondere die Breite des Kantenpaares der rechten 
und linken Kante der Kleberspur, der mittlere Grauwert des projizierten Grauwertpro- 
fils zwischen dem Kantenpaar, der Randkontrast und der Positionsverlauf mittels der 
Bewertungsfunktion verrechnet werden, wobei als Folge davon die Klebstoffspur ge- 
nau beschrieben werden kann, um diese sicher automatisch zu erkennen. 

Ferner ist es vorteilhaft, wenn die Kante der Kleberspur auf einer Kreisbahn ermittelt 
wird, um die Klebstoffspur um die Auftragseinrichtung herum bei einem beliebigen 
Verlauf jeweils in einem definierten Bereich zu erfassen. 

Gemali einer bevorzugten Ausfuhrungsform stimmt der Mittelpunkt der Kreisbahn im 
wesentlichen mit der Stelle uberein, aus welcher der Kleber zur Bildung der Kleber- 
spur austritt, wobei jede Kamera zumindest ein Segment des aus der Kreisbahn ge- 
bildeten Kreises uberwacht 
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Wenn jede Kamera zumindest einen Uberlappungsbereich mit zumindest einer an- 
grenzenden Kamera iiberwacht, konnen Fehler beim Obergang von einer Kamera 
zur nachsten vermindert warden. 

Besonders vorteilhaft ist es, wenn die Winkelwerte der Kreisbahn von 0 bis 360° ein 
globales Koordinatensystem d er e inzelnen Kameras b iiden, wobei d en B ildern d er 
einzeinen Kameras ein Segment d er Kreisbahn zugeordnet wird. Als Foige davon 
kann der Verlauf der Kieberspur von jeweils zumindest einer aktiven Kamera verfolgt 
werden, wodurcFi mit relativ einfaclien l\/litteln Aussagen Qber die gesamte Kieber- 
spur sowie deren Lage bzw. Verlauf getroffen werden kann. 

Gemali einer bevorzugten Ausfiilirungsform deckt eine erste Kamera einen Winkel- 
bereich von -10° bis 130° eine zweite Kamera einen W inkelbereicli von 110° bis 
250° und eine dritte Kamera einen Winkelbereich von 230° bis 1 0° a b, wenn drei 
Kameras verwendet werden. 

Daruber ininaus ist es von Vorteil, wenn bei dem Verlauf der Kieberspur von einer 
Kamera zur nachsten automatisch umgeschaltet wird, wenn die Kieberspur von dem 
Segment d er K reisbahn e iner Kamera u ber d en G berlappungsbereich i n d as S eg- 
ment der Kreisbahn einer anderen Kamera verlauft. Als folge davon ist es mSglich, 
dass dem Verlauf der Spur bzw, der Lage der Spur sicher gefolgt werden kann und 
diese entsprechend voraussehbar sind. Somit kann rechtzeitig ein voll automatisches 
Umschalten der benachbarten Kameras erfolgen, so dass sich die Parametrierzeiten 
verringern. 

Des Weiteren ist es von Vorteil, wenn zur Beleuchtung LED Leuchtmittel venA/endet 
werden, welche eine Lichtfarbe umfassen, die einen geeigneten Kontrast zur Farbe 
der Auftragsstruktur aufweist. Die Lichtfarbe wird dabei derart ausgewahit, dass sich 
nach dem Prinzip der Komplementarfarben der grolite Kontrast zwischen dem Sub- 
strat u nd d er K lebstoffspur e rgibt. V orteilhaftenA/eise w erden I nfrarot L ED oder U V 
LEDs verwendet. Besondere Vorteile ergeben sich, wenn man Leuchtdioden ver- 
wendet, die auf Grund ihrer besonderen Bauweise in der Lage sind, rotes, griines 
und blaues Licht zu emittieren, insbesondere bei der Verwendung von RGB LEDs. 
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Somit kann der Sensoraufbau ohne weitere Umbauten auf eine entsprechende Kleb- 
stofffarbe umgestellt werden. 

Wenn LEDs in Farbtrippeln aus den Farben Rot, Grun und Biau verwendet werden, 
kann die am besten g eeignete Mischfarbe f ur die optimale Kontrastierung erzeugt 
werden. 

Gemafi einer Ausgestaltung der Erfindung werden die LEDs geblitzt, wobei insbe- 
sondere Stromimpulse von 1,0 bis 0,01 ms auf die Dioden aufgebracht werden, um 
walirend des Abfahrens des Sensors Ciber dem Substrat scharfe Bilder insbesondere 
von der Kiebstoffspur zu erhalten. 

^^^Mit vorliegender Erfindung wird eine Vorrichtung zunn Erkennen einer auf einem 
Substrat aufzubringenden Struktur, vorzugsweise eine Kleberraupe oder Kleberspur, 
zur Durchfulirung eines erfindungsgennaBen Verfahrens nach Anspruch 1 bzw. 4 be- 
reitgesteilt, wobei zumindest ein Beleuchtungsmodul und eine Sensoreinheit vorge- 
sehen ist. Die Sensoreinheit ist aus zumindest einer bzw. mehreren Kameras aufge- 
baut, welche um die Einrichtung zum Auftragen der Struktur vorgesehen und ange- 
ordnet sind sowie auf die Einrichtung zum Auftragen der Struktur jeweils ausgerichtet 
sind. Dadurch ist es moglich, dass der Verfahrweg der Vorrichtung uber einem Sub- 
strat bzw, ein VerfahnA/eg des Substrats bzgl, der Vorrichtung stets in alien Richtun- 
gen durch die Ausrichtung der Kameras auf die Auftragseinrichtung uberwacht wer- 
den 

Wenn sich die axiale Langsachse der einzelnen Kameras in Blickrichtung im wesent- 
lichen mit der axialen Langsachse der Auftragseinrichtung schneidet, so ist es ge- 
mali einer derartigen Weiterbildung vorteilhaft, dass ein enger Bereich um die Auf- 
tragseinrichtung mit geeigneter Auflosung und hoher Biidaufnahmefrequenz uber- 
wacht werden kann. 

GemaB einem bevorzugten Ausfuhrungsform sind einzelne Kameras, insbesondere 
3 Kameras, in Umfangsrichtung in jeweils gleichem Abstand voneinander angeord- 
net. 
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Vorteilhafterweise werden die einzelnen Kameras derart verschaltet, dass die Bilder 
der Kameras in einer Bildsequenz gespeichert werden, so dass diese Bilder syn- 
chron und parallel sowie zugeordnet aufgenonnmen werden l<6nnen. 

Gemali einer Ausgestaltung einer Erfindung bilden die Kameras einen Kreiscaliper, 
dessen iVlittelpunkt die Auftrageinrichtung der Struktur bildet. Dabei konnen ein oder 
mehrere kreisformige Caliper verwendet werden, diees ermoglichen, dass dieEr- 
mittlung der Kante der Kleberspur auf einer Kreisbahn stattfindet. 

GemaS einem bevorzugtem Ausfuhrungsform weisen die einzelnen Kameras einen 
Gberlappungsbereich von jeweils mindestens 10° zur nachsten Kamera auf. Dieser 
Uberlappungsbereich ermoglicht ein voliautomatisches Umschalten von benachbar- 
ten Kameras, wenn die Klebstoffspur von dem Uberwachungsbereich einer Kamera 
in den nachsten verlauft, da die Auswahl der Kamera nicht gebunden an die Robo- 
terposition oder eine zeitliche Komponente gebunden ist, sondern sich auf die aktuei- 
len Inspektionsergebnisse bezieht, d. h. auf der Anordnung auf der Kreisbalin des 
Kreiscalipers bzw. auf dem dadurch gebildeten globalen Koordinatensystem. 

Ferner ist es von Vorteil, wenn das Beleuchtungsmodul aus LEDs, insbesondere Inf- 
rarot-LEDs, UV-LEDs oder RGB-LEDs aufgebaut ist. 

Daruber hinaus ist es von Vorteil, wenn zur Kalibrierung der einzelnen Kameras fur 
die Zuordnung der Winkelzugehorigkeit eine Kalibrierscheibe mit einzelnen Form- 
elementen verwendet wird, wobei diese Formelemente insbesondere einen Winkel- 
abstand von im wesentlichem 10° aufweisen. Dadurch kann der Skalierungsfaktor, 
die Winkelzugehorigkeit und der Mittelpunkt sowie der Radius des Suchkreises fur 
die einzelnen Kameras zugeordnet werden. ErfindungsgemaB weist die Kalibrier- 
scheibe zumindest drei Markierungsstellen auf, die in einem Kreisbogen der Kalib- 
rierscheibe von im wesentlichen 0°, 120° und 240° angeordnet sind, um drei Kame- 
ras zu kalibrieren. 



Weitere vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der ubrigen 
Unteranspruche. 



-7- 

20030262 



Anmelder: QuISS GmbH 

Anwaltsakte: QU01 H10/P-DE 

Anhand der nachfolgenden Zeichnungen werden beispielhaft vorteilhafte Ausgestal- 
tungen der Erfindung dargestellt 

Figur 1 zeigt eine schematische Seitenansicht einer erfindungsgemalien Vorrichtung 
zum Auftragen und Oberwachen einer Klebstoffspur. 

Figur 2 zeigt eine perspektivisclie Ansicht der erfindungsgemalien Vorriclitung von 
Figur 1. 

Figur 3 zeigt den Verfahrweg der erfindungsgemaG>en Vorrichtung zum Aufbringen 
und Oberwachen einer Klebstoffspur. 

Figur 4 zeigt einen anderen Verfahrweg der erfindungsgemalien Vorrichtung bzgl. 
des Umschaltens der relevanten Kameras. 

Figur 5 ist eine Darstellung eines einzigen Bilds, dass aus drei Bildstreifen von drei 
Kameras zur Online-Uberwachung zusammengesetzt ist 

Figur 6 eriautert den prinzipiellen Aufbau der Software. 

Figur 7 zeigt schematisch eine erfindungsgemafie Kalibriervorrichtung zum kalibrie- 
ren der einzelnen Kameras der erfindungsgemalien Vorrichtung zum Erkennen einer 
auf einem Substrat aufzubringenden Struktur. 

Im Weiteren wird nun der Aufbau der erfindungsgemalien Vorrichtung zum Erkennen 
einer auf einem Substrat aufzubringenden Struktur gemaR den Figuren 1 und 2 er- 
iautert. 

Mit dem Bezugszeichen 10 ist die schematisch dargestellte Vorrichtung zum Aufbrin- 
gen und Erkennen einer Kleberspur gezeigt Dabei ist im Zentrum der erfindungsge- 
mafien Vorrichtung eine Auftragseinrichtung 1 1 angeordnet, durch welche eine Kleb- 
stoffspur 20 auf ein Substrat bzw. auf ein Biech 30 in der Fig. 1 von rechts nach links 
aufgebracht wird. Um die Auftragseinrichtung 11 sind in einem Kreis drei Kameras 
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12, 13, 14 in gleichmaliigem Abstand angeordnet, die auf die Auftragseinrichtung 11 
jeweiis ausgericlitet sind. Wie aus Figur 1 ersichtlich, schneiden sich die axialen 
Langsachsen der drei Kameras 12, 13, 14 mit der axialen Langsachse der Auf- 
tragseinrichtung 1 1 u nmittelbar u nterhalb d es S ubstrats 3 0, s odass d er F okus d er 
einzelnen Kanneras unmittelbar urn den Bereich der Auftragseinrichtung 1 1, insbe- 
sondere auf einer Kreisbahn, angeordnet ist 

Bel der Klebstoffinspei^tion wird nun entweder die Auftragseinrichtung mit den Kame- 
ras Oder das Substrat verfahren, wobei gleichzeitig die Kiebstoffspur 20 auf das Sub- 
strat 30 mittels der Auftragseinrichtung 11 aufgebracht wird und wobei die Kameras 
12, 13, 14 die aufgebrachte Struktur uberwachen. Es ist hierzu moglich, die Auf- 
tragseinrichtung mit den Kameras oder das Substrat zu verfahren, um die Klebstoff- 
^^Hr spur in einem gewunschten Verlauf auf dem Substrat 30 aufzubringen. Dadurch kon- 
nen die mitfahrenden Kameras simultan mit dem Auftragen die Kiebstoffspur unab- 
hangig von dem Verfahrweg uberwachen. In Fig. 2 verlauft die Kiebstoffspur 20 von 
links nach rechts, wobei diese als durchgezogene Linie dargestellt ist. Rechts von 
der Auftragseinrichtung 1 1 ist der beabsichtigte Verlauf der Kiebstoffspur 20 mit ge- 
strichelter Linie angezeigt. 

Figur 3 zeigt nun den Verlauf der Kiebstoffspur 20, welcher mittels Pfeilen angezeigt 
wird, wobei an drei Stellen die Ausrichtung bzw. der Sichtbereich der einzelnen drei 
Kameras dargestellt ist. Die Sichtbereiche der einzelnen drei Kameras sind jeweiis 

• durch ein Rechteck mit durchgezogener Linie, ein Rechteck mit weit gestrichelten 
Linien und ein Rechteck mit eng gestrichelten Linien dargestellt. Wie aus der Figur 
ersichtlich bieibt die Ausrichtung der einzelnen Sichtbereiche stets konstant ausge- 
richtet, wobei lediglich die gesamte Vorrichtung verfahren wird. 

Figur 4 zeigt einen weiteren Verlauf einer Kiebstoffspur 20, wobei jeweiis angezeigt 
ist, welcher Sichtbereich aktiv ist, d. h. welche Kamera mit dem entsprechenden als 
Rechteck dargestellten Sichtbereich beim Abfahren der Kiebstoffspur aktiv 1st 

In Figur 5 sind nun drei Bildstreifen dargestellt, die jeweiis einen relevanten Bildaus- 
schnitt bzw. Bildstreifen der einzelnen drei Kameras von Figur 1 darstellen. Gema(2> 
dem erfindungsgemalien Verfahren wird von jeder Kamera lediglich ein Streifen des 
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Bildes aufgenommen, um fur eine entsprechende Datenverminderung zu sorgen, 
sodass die Aufnahmefrequenz erhoht werden kann. Diese einzelnen Bildstreifen der 
drei Kameras werden zu einem Bild zusammengefugt, wobei die Bildaufnahmen in 
definierten festen Zeitabstanden und unabhangig von der Robotersteuerung fur die 
Auftragseinrichtung erfolgen. Beispielsweise nehmen die Kameras ledigiich einen 
Steifen des Bildes auf, wobei an Stelle einer Biidliohe von 480 Bildpunl^ten eine Biid- 
hohe von rund 100 Biidpunkten (100 Bildzeilen) verwendet wird. Durch diese Partial- 
Scan-Teclinik, d. h, ein teilweises Auslesen des Bildaufnahmechips, entstelien nur 
geringe Datenstrome, so dass die Bildaufnahmefrequenz um das entsprechende 
vielfache erhoht werden kann. Bei der Auswertung der Daten ist es s.omit mogiich, 
dass die Bilder der einzelnen Kameras synchron und parallel und folglich gleichzeitig 
erfasst werden konnen und anschliefiend zu einem einzigen Bild zusammengefugt 
werden, wobei die drei Bildstreifen untereinander angeordnet werden. Als Folge da- 
von sind die drei Bilder, d. h. die drei Bildstreifen, sofort hinsichtlich des Ortes und 
der Zeit zueinander richtig angeordnet sowle zugeordnet und konnen entsprechend 
verarbeitet werden. Diese spezielle Bildaufnahmetechnik ermoglicht somit das 
gleichzeitige und parallele aufnehmen einzelner Kamerabilder, wodurch es mogiich 
wird, dass beim Einlernen einer Referenzauftragsstruktur ledigiich ein einmaliges 
Abfahren dieser Struktur vorgenommen werden muss, wobei die Bilder aller Kame- 
ras in einer Bildsequenz gespeichert werden. 

Wenn die Bilder der drei Kameras in einer Bildsequenz gespeichert worden sind, 
wird beim Einlernen der Referenzkleberspur anschliefiend eine Parametrierung die- 
ser Referenzspur durchgefuhrt. Fur die Parametrierung wird der Roboterverfahrweg, 
die Roboterverfahrzeit, die Richtung, die Breite und die Gute der Klebespur verwen- 
det Somit ergibt sich fur die Kleberspur eine Art Vektorkette, wodurch es mogiich ist, 
die hohe Bildaufnahmefrequenz und die vergleichsweise kurzen Teilabschnitte (zwi- 
schen 1 und 3 mm) zu erzielen. Die Vektorvisierung hat ferner den Vorteil, dass die 
Kleberspur in Form einer Vektorkette in einem kameraubergreifenden, globalem Ko- 
ordinatensystem abgelegt werden kann. 

Wie aus dem untersten Streifen von Figur 5 ersichtlich, ist um das Zentrum der Auf- 
tragseinrichtung 11 eine Kreisbahn angeordnet, wobei die beiden Kantenpunkte 21 
und 22 der Klebstoffspur 20 auf der Kreisbahn angeordnet sind. Diese Kreisbahn ist 
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derart unterteilt, dass einer ersten Kamera ein Winkelbereich von -10° bis 130°, ei- 
ner zweiten Kamera ein Winkelbereich von 110° bis 250° und einer dritten Kamera 
ein Winkelbereich von 230° bis -10° zugeordnet wird, sodass eine luckenlose Abde- 
ckung mit Uberlappungsbereichen der einzelnen Kameras um die Auftragseinrlch- 
tung 11 herum ermoglicht wird. Daraus ergibt sich fur die drei Bildstreifen ein globa- 
les Koordinatensystem, welches sowohl kartesisch als auch polar ausgefiihrt sein 
kann. 

Falls die Kleberspur nun aus dem Sichtbereich einer Kamera lauft, befindet sich die 
Kleberspur ubergangsweise im Gberlappungsbereich der Winkelbereiche der beiden 
Kameras. Wenn nun die Kleberspur von dem Segment der Kreisbahn der einen Ka- 
mera fiber den Gberlappungsbereich in das Segment der Kreisbahn einer anderen 
Kamera verlauft, wird von der einen zur anderen Kamera automatisch umgeschaltet. 
Dies ist insbesondere in Figur 4 durch die aktiven Sichtbereiche der einzelnen Kame- 
ras dargestellt. 

Die obigen Vorteile werden dadurch erzielt, dass die einzelnen Kameras einen Kreis- 
caliper bilden, dessen Mittelpunkt die Auftrageinrichtung 1 1 bildet, wobei die Suche 
nach den Kanten 21 , 22 der Klebstoffspur auf einer Kreisbahn unmittelbar um die 
Auftragseinrichtung erfolgt. Hierzu ist es wesentlich, dass die einzelnen Kameras auf 
die A uftragseinrichtung a usgerichtet s ind, w obei s ich d ie a xialen L angsachsen d er 
einzelnen Kameras mit der Langsachse der Auftragseinrichtung schneiden. 

Im Folgenden wird nun eine Teach-ln-Lauf bzw, ein Einlernen einer Referenzkleber- 
spur erlautert. 

Der Einlernvorgang der Referenzkleberspur kann mittels eines Mausklicks vom Be- 
diener auf die Spur begonnen werden, wodurch die Lage der Kleberspur angezeigt 
wird. Dies ist ausreichend, um in den nachsten Kamerabildern die Position und Rich- 
tung der Kleberspur voll automatisch zu erkennen, da die Bildaufnahmefrequenz ent- 
sprechend hoch ist und die einzelnen Bildaufnahmen sehr kurz hintereinander statt- 
finden, beispielsweise alle 1 mm bis 3 mm. Ab dem Startpunkt findet Bild fur Bild die 
Kleberantastung statt, wobei die im aktuellen Bild gefundene Kleberspurposition und 
Kleberspurwinkel als A-Priori-Wissen fur das kommende Bild verwendet wird. Da die 
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Spurradien zumeist groBer als 20 mm betragen, wird somit das vollautomatische Er- 
fassen der Kleberspur moglich, ohne dass ein Mensch das Biid bzw. die Lage der 
Kleberspur ermitteln bzw. bewerten muss. Als Foige davon kann der Suchbereich 
eingeschrankt warden, wodurch mitteis der hohen Bildaufnahmefrequenz errechnet 
werden kann, wo die Kleberspur im wesentlichen im nachsten Biid verlaufen wird. 

In Figur 6 ist der prinzipielle Aufbau der Software dargestellt, wobei der Teach-ln- 
Lauf bzw. Einlernlauf die Bildsequenz erzeugt, welche daraufhin die automatische 
Parametrisierung ermoglicht. Diese Parametrisierung kann gegebenenfalls vom Be- 
nutzer voreingestellt werden und wird fur den Inspektionslauf zusammen mit einem 
Verlaufs-file fur die Inspektion einer aufgebrachten Klebstoffspur verwendet. 

^^^Die Onlineuberwachung einer aufgebrachten Klebstoffspur wird nun kurz eriautert. 
Die in Figur 1 gezeigte Auftragseinrichtung 1 1 bringt die Klebstoffspur auf das Blech 
30 auf, wobei die Auftragseinrichtung 1 1 mit den Kameras uber dem Blech 30 verfah- 
ren wird. Jedoch ist auch eine kinematische Umkehr moglich, d. h., dass das Blech 
30 verfahren wird und die Auftragseinrichtung mit den Kameras ortsfest angeordnet 
ist. Die aufgetragene Klebstoffspur 20 wird synchron und parallel von den Kameras 
12, 13, 14 auf der gemali Figur 5 eriauterten Kreisbahn des Kreiscalipers ermittelt 
und ausgewertet, wobei von jeder Kamera Jewells lediglich ein Streifen des Bildes 
aufgenommen wird und in einem einzigen Biid unter Bildung einer Bildsequenz 
zusammengefugt wird. Entsprechend der Datenverminderung durch die Aufnahme 

• von lediglich einem Streifen des Bildes jeder Kamera wird die Bildaufnahmefrequenz 
erhoht, wobei die einzelnen Bildstreifen in dem zusammengefugten Biid das 
synchrone und parallele sowie gleichzeitige Erfassen der drei Kamerabilder 
ermoglichen und wobei die einzelnen Bilder der drei Kameras unmittelbar 
ortsabhangig zugeordnet werden konnen. Somit wird eine Onlineuberprufung der 
Klebstoffspur in Echtzeiten moglich, welche durch diehohe Bildaufnahmefrequenz 
sowohl beim Einlernen einer Referenzkleberspur als auch beim Uberprufen der 
aufgebrachten Kleberspur eine hohe Genauigkeit bei hohen 
Verfahrgeschwindigkeiten erzielt. Hierbei sind die Informationen Qber die 
Klebstoffspur im Klebersuchbereich, die Winkelzuordnung des Sensors, die 
Kleberbewertung, der Roboterverfahrweg und die Roboterverfahrzeit in einer Ver- 
laufsliste zusammen gefasst. 
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GemaU einer Ausfuhrungsform der vorliegenden Erfindung kann eine Bewertungs- 
funktion zum Auffinden der Kanten der Klebstoffspur, insbesondere eine Fuzzy- 
Bewertung, verwendet werden. Um die Klebstoffspur zu ermitteln und zu bewerten, 
werden mitteis einer Fuzzy-Bewertung folgende Parameter miteinander verrechnet: 

Breite des Kantenpaares (Kantel: linke Kante der Klebstoffspur, Kante 2: rechte 
Kante der Kieberspur), mittlerer Grauwert des projizierten Grauwertprofils zwischen 
dem Kantenpaar, Randkontrast (geometrischer Mittelwert der Amplituden der beiden 
Kanten) und Positionsverlauf (gerichtete Abweichung des Mittelpunkts zwischen den 
beiden Kleberkanten vom Mittelpunkt des Suchbereichs in Pixel). Durch diese Viel- 
zahl an Parametern kann, auch mit Hilfeder Fuzzy-Bewertungsfunktion, die Kleb- 
stoffspur s ehr g enau beschrieben werden, dannit d iese s icher a utomatisch e rkannt 
wird. 

Fur die erfindungsgema(ie Vorrichtung ist das nicht gezeigte Beleuchtungsmodul aus 
LEDs, insbesondere Infrarot-LEDs, UV-LEDs oder RGB-LEDs, aufgebaut. Um hohe 
Kontraste bei der Blidaufnahme zu erhalten, konnen die LEDs geblitzt werden, d. h., 
dass kurze, starke Stromimpulse auf die Dioden im Berelch von 1 ,0 bis 0,01 ms auf- 
gebracht werden. Dabei sind insbesondere derartlge Leuchtdioden vorteilhaft, die 
verschiedenfarbiges Licht emittieren konnen, sodass der Sensoraufbau ohne Um- 
bauten auf andere Klebertypen bzw. Kleberfarben umgestellt werden kann. 

Figur 7 zeigt eine Kalibriereinrichtung 40 in Form einer kreisformigen Kalibrierschei- 
be, um den einzelnen Kameras ihren Skalierungsfaktor, ihre Winkelzugehorigkeit und 
den Mittelpunkt sowie den Radius des Suchkreises zuzuordnen. Die Kalibrierscheibe 
besteht aus einzelnen auf einer Kreisbahn angeordneten Formelementen bzw. Dots 
41, die jeweils in einem Winkelabstand von einem im wesentlichen 10° angeordnet 
sind. In gleichmaliigen Abstand voneinander sind ferner Markierungsstelien 42 an- 
geordnet, um drei Kameras zu kalibrieren. Mitteis einer Ausgleichsrechnung wird aus 
den Koordinaten der Mittelpunkte der einzelnen Dots zum einen der Skalierungsfak- 
tor der einzelnen Kameras zum anderen der Mittelpunkt sowie der Radius des Such- 
bereichs berechnet. Durch die Markierungsstelien im Winkel von 0°, 120°, 240° im 
globalem Koordinatensystem kann die Winkelzuordnung und der jeweilige Sichtbe- 
reich der einzelnen Kameras bestimmt werden. Der Sichtbereich der einzelnen Ka- 
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meras i st i nsbesondere d urch d ie d rei Rechtecke i n F igur 7 d argestellt, wobei d ie 
Formeiemente 41 der Kreisbahn des Kreiscalipers zur Erfassung der Klebstoffspur 
entsprechen konnen. 

Gemafi einer nicht gezeigten Ausfuhrungsform wird der Kreiscaliper durch mehrere 
Kameras gebildet, welche um die Auftragseinrichtung angeordnet sind, jedoch in ei- 
nem unterschiedlichen Radius von dem Mittelpunkt der Auftragseinrichtung ange- 
bracht sind. Zur Inspektion einer Auftragsstruktur bzw. Kleberspur werden die Kame- 
ras auf einen Kreis bzw. eine Kreisbahn ausgerichtet, dessen Mittelpunkt mit dem 
IVlittelpunkt der Auftragseinrichtung ubereinstimmt Auf dieser Kreisbahn findet die 
oben eriauterte optische Erfassung der Kleberspur statt. 

Somit wird ein Verfahren bzw. eine Vorrichtung zum Erkennen einer auf einem Sub- 
strat aufzubringenden Struktur, vorzugsweise eine Kleberraupe oder Kleberspur, mit 
mindestens einer Kamera, insbesondere mehreren Kameras beschrieben. Dabei 
wird das Einlernen einer Referenzauftragsstruktur durch lediglich ein einmaliges Ab- 
fahren dieser Referenzauftragsstruktur derart vorgenommen, dass die Bilder aller 
Kameras in einer Bildsequenz gespeichert werden. 

Ferner wird ein Verfahren zum Erkennen einer auf einem Substrat aufzubringenden 
Struktur beschrieben, wobei die aufgebrachte Struktur beim Abfahren fur die Bewer- 
tung der Struktur derart als optisches Abbiid verarbeitet wird, dass von jeder Kamera 

• lediglich ein Streifen des Bildes unter Bildung einer Bildsequenz aufgenommen wird 
und die Bildaufnahmefrequenz entsprechend der Datenverminderung durch die Auf- 
nahme von lediglich einem Streifen des Bildes erhoht wird. 
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Anspruche 

1. Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struk- 
tur, vorzugsweise eine Kleberraupe oder Kleberspur, mit mindestens einer 
Kamera, insbesondere mehreren Kameras, dadurch gekennzeichnet, dass 
das Einiernen einer Referenzauftragsstruktur durch lediglich ein einmaliges 
Abfahren dieser Referenzauftragsstruktur derart vorgenonnmen wird, dass 
die Biider ailer Kameras in einer Bildsequenz gespeichert werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass von jeder Ka- 
mera lediglich ein Streifen des Bildes unter Bildung eines Teils der Bildse- 
quenz aufgenommen wird. 

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Bildauf- 
nahmefrequenz entsprechend der Datenverminderung durch die Aufnahme 
von lediglich einem Streifen des Bildes erhoht wird. 

4. Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struk- 
tur, vorzugsweise einer Kleberraupe oder Kleberspur, mit mindestens einer 
Kamera, insbesondere mehreren Kameras, dadurch gekennzeichnet, dass 
die aufgebrachte Struktur beim Abfahren fur die Bewertung der Struktur 
derart als optisches Abbiid verarbeitet wird, dass von jeder Kamera ledig- 
lich ein Streifen des Bildes unter Bildung einer Bildsequenz aufgenommen 
wird und die Bildaufnahmefrequenz entsprechend der Datenverminderung 
durch die Aufnahme von lediglich einem Streifen des Bildes erhoht wird, 

5. Verfahren nach zumindest einem der Anspruche 2 bis 4, dadurch gekenn- 
zeichnet, dass die Bildstreifen der einzelnen Kameras zu einem einzigen 
Bild zusammengefugt werden. 
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6. Verfahren nach zumindest einem der Anspruche 2 bis 5, dadurch gekenn- 
zeichnet, dass pro Kamera in etwa nur 1/4 der Bildzeilen ais Streifen des 
Bildes verwendet werden und die Bildaufnahmefrequenz vervierfacht wird. 

7. Verfahren nach zumindest einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass die Parametrierung der von der Referenzauftrags- 
struktur erhaltenen Bildsequenz, welche aus einem einzigen Bildaufnahme- 
iauf alier Kameras resultiert, automatisch durch ein einmaliges externes 
Anzeigen d er Referenzauftragsstruktur vorgenommen wird u nd zum Ver- 
gleich mit einer aufgebrachten Kleberspur verwendet wird. 

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass fur die Para- 
metrierung der Roboterverfahrweg, die Roboterverfahrzeit, die Richtung, 
die Breite und die Giite der Kleberspur verwendet wird. 

9. Verfahren nach zumindest einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass eine Bewertungsfunktion, insbesondere eine Fuzzy- 
Bewertung, zum Auswerten der Klebstoffspur verwendet wird. 

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Breite des 
Kantenpaares der rechten und linken Kante der Kleberspur, der mittlere 
Grauwert des projizierten Grauwertprofils zwischen dem Kantenpaar, der 
Randkontrast und der Positionsverlauf mittels der Bewertungsfunktion ver- 
rechnet werden. 

1 1 . Verfahren nach zumindest einem der vorhergehenden AnsprQche, dadurch 
gekennzeichnet, dass die Kanten der Kleberspur auf einer Kreisbahn ermit- 
telt werden. 

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass der Mittel- 
punkt der Kreisbahn im wesentlichen mit der Stelle ubereinstimmt, aus 
welcher der Kleber zur Bildung der Kleberspur austritt. 
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13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass jede 
Kamera zumindest ein Segment des aus der Kreisbahn gebildeten Kreises 
uberwacht. 



14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass jede Kamera 
zumindest einen Uberlappungsbereich mit zumindest einer angrenzenden 
Kamera uberwacht 



15. Verfahren nach einem der Anspruche 11 bis 14, dadurch gekennzeichnet, 
dass die Winkelwerte der Kreisbahn von 0 bis 360° ein globales Koordina- 
tensystem bilden, wobei den Bildern der einzelnen Kameras ein Segment 
der Kreisbahn zugeordnet wird. 

16, Verfahren nach einem der Anspruche 11 bis 15, dadurch gekennzeichnet, 
dass eine erste Kamera mindestens einen Winkelbereich von -10'' bis 
130'', eine zweite Kamera mindestens einen Winkelbereich von 1 10° bis 
250° und eine dritte Kamera mindestens einen Winkelbereich von 230° bis 
10° abdeckt 



17. Verfahren nach einem der Anspruche 11 bis 16, dadurch gekennzeichnet, 
dass bei dem Verlauf der Kleberspur von einer Kamera zur nachsten au- 
tomatisch umgeschaltet wird, wenn die Kleberspur von dem Segment der 
Kreisbahn e iner K amera u ber d en 0 berlappungsbereich i n d as S egment 
der Kreisbahn einer anderen Kamera verlauft. 



18. Verfahren nach zumindest einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass zur Beleuchtung LED-Leuchtmittel verwendet wer- 
den, welche eine Lichtfarbe umfassen, die einen geeigneten Kontrast zur 
Farbe der Auftragsstruktur aufweist. 

19. Verfahren nach Anspruch 18, wobei Infrarot-LEDs oder UV-LEDs verwen- 
det werden. 
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20. Verfahren nach Anspruch 18 oder 19, dadurch gekennzeichnet, dass 
Leuchtdioden verwendet werden, insbesondere RGB-LEDs. 

21. Verfahren nach einem der vorhergehenden Anspruche 18 bis 20, dadurch 
gekennzeichnet, d ass L EDs i n F arbtripein aus d en F arben rot, g run u nd 
blau verwendet werden. 

22. Verfahren nach einem der Anspruche 18 bis 21, dadurch gekennzeichnet, 
dass die LEDs geblitzt werden, wobei insbesondere Stromimpulse von 1,0 
bis 0,01 nns auf die Dioden aufgebracht werden. 

23. Vorrichtung zum Erkennen einer auf einem Substrat aufzubringenden 
Struktur, vorzugsweise eine Kleberraupe oder Kleberspur, zur Durchfuh- 
rung eines Verfahrens gemaB den Anspruchen 1 bis 22, wobei zumindest 
ein Beleuchtungsmodul und eine Sensoreinheit vorgesehen ist, dadurch 
gekennzeichnet, dass die Sensoreinheit aus mindestens einer Kamera, 
insbesondere mehreren Kameras, aufgebaut ist, wobei die Kameras um 
die Einrichtung zum Auftragen der Struktur vorgesehen sind und an dieser 
derart angeordnet sind, dass die Kameras jeweils auf die Einrichtung zum 
Auftragen der Struktur ausgerichtet sind. 

24. Vorrichtung nach Anspruch 23, dadurch gekennzeichnet, dass sich die axi- 
ale Langsachse der einzelnen Kameras in Blickrichtung im wesentlichen 
mit der axialen Langsachse der Auftragseinrichtung schneidet 

25. Vorrichtung nach Anspruch 23 oder 24, dadurch gekennzeichnet, dass die 
einzelnen Kameras, insbesondere drei Kameras, in Umfangsrichtung in je- 
weils gleichem Abstand voneinander angeordnet sind. 

26. Vorrichtung nach einem der AnsprQche 23 bis 25, dadurch gekennzeich- 
net, dass die einzelnen Kameras derart verschaltet werden, dass die Bilder 
aller Kameras in einer Bildsequenz gespeichert werden. 
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27. Vorrichtung nach Anspruch 26, dadurch gekennzeichnet, dass von jeder 
Kamera ledigiich ein Streifen des Bildes unter Bildung eines Teils der Bild- 
sequenz aufgenommen wird. 

28. Vorrichtung nach Anspruch 27, dadurch gekennzeichnet, dass die Bildauf- 
nahnnefrequenz entsprechend der Datenverminderung durch die Aufnahme 
von ledigiich einem Streifen des Bildes erhoht wird. 

29. Vorrichtung nach Anspruch 27 und/oder 28, dadurch gekennzeichnet, dass 
die Bildstreifen der einzelnen Kameras zu einem einzigen Bild zusannmen- 
gefiigt werden, um eine Referenzauftragsstruktur einzulernen und mit einer 
aufgebrachten Kleberspurzu vergleichen. 

30. Vorrichtung nach einem der Anspruche 23 bis 29, dadurch gekennzeich- 
net, dass die Kameras zumindest einen Kreiscaliper bilden, dessen Mittel- 
punkt die Einrichtung zum Auftragen der Struktur bildet, wobei insbesonde- 
re die Kameras auf einen Kreis um die Auftragseinrichtung ausgerichtet 
sind, dessen Mittelpunkt im wesentlichen mit dem Mittelpunkt der Auf- 
tragseinrichtung ubereinstimmt 

31. Vorrichtung nach einem der Anspruche 23 bis 30, dadurch gekennzeich- 
net, dass die einzelnen Kameras einen Uberlappungsbereich von jeweils 
im wesentlichen 10° zur nachsten Kamera aufweisen. 

32. Vorrichtung nach einem der vorhergehenden Anspruche 23 bis 31, da- 
durch gekennzeichnet, dass das Beleuchtungsmodul aus LEDs, insbeson- 
dere Infrarot-LEDs, UV-LEDs oder RGB-LEDs aufgebaut ist. 

33. Vorrichtung nach Anspruch 32, dadurch gekennzeichnet, dass die LEDs 
geblitzt werden, wobei Stromimpulse von 1,0 bis 0,01 ms verwendet wer- 
den. 

34. Vorrichtung nach einem Anspruche 23 bis 33, dadurch gekennzeichnet, 
dass zur Kalibrierung der einzelnen Kameras fur die Zuordnung der Win- 
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kelzugehorigkeit eine Kalibriervorrichtung mit einzelnen Formelementen 
verwendet wird, wobei die Formelemente insbesondere einen Winkelab- 
stand von im wesentlichem 10° aufweisen. 

35. Vorrichtung n ach A nspruch 3 4, d adurch g ekennzeichnet, d ass d ie K alib- 
riervorrichtung zumindest drei Markierungsstellen aufweist, die in einenn 
Kreisbogen der Kalibriervorrichtung von inn wesentlichen 0°, 120° und 240° 
angeordnet sind, um drei Kameras zu kaiibrieren. 

36. Vorrichtung nach Anspruch 35, dadurch gekennzeichnet, dass slch die 
Markierungsstellen auf der Kreisbahn in einem Winkelbereich von jeweils 
im wesentlichen 10° erstrecken, wobei die Markierungsstellen insbesonde- 
re durch zumindest zwei Formelemente gebildet werden. 
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Zusammenfassung 

Es wird ein Verfahren bzw. eine Vorrichtung zum Erkennen einer auf einem Substrat 
aufzubringenden Struktur, vorzugsweise eine Kleberraupe Oder Kleberspur, mit min- 
destens einer Kamera, insbesondere mehreren Kameras beschrieben. Dabei wird 
das Elnlernen einer Referenzauftragsstruktur durch lediglich ein einmaliges Abfahren 
dieser Referenzauftragsstruktur derart vorgenommen, dass die Bilder alier Kameras 
in einer Bildsequenz gespeichert werden. Ferner wird ein Verfahren zum Erkennen 
einer auf einem Substrat aufzubringenden Struktur beschrieben, wobei die aufge- 
brachte Struktur beim Abfahren fur die Bewertung der Struktur derart ais optisches 
Abbild verarbeitet wird, dass von jeder Kamera lediglich ein Streifen des Bildes unter 

• Bildung einer Bildsequenz aufgenommen wird und die Bildaufnahmefrequenz ent- 
sprechend der Datenverminderung durch die Aufnahme von lediglich einem Streifen 
des Bildes erhoht wird. 
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